iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 20
0
AI & Data

窺探人工智慧與資料科學的面貌系列 第 20

[Day 20] 聯邦式學習 Federated Learning

  • 分享至 

  • xImage
  •  

近幾年,社會很重視個人資料的保護問題,也有許多相對應的法規出現,如各國的個資法,或者史上最嚴格的個資法:歐盟的一般資料保護規範(General Data Protection Regulation,GDPR)等,詳細規定了公司法人或者國家對於資料的處理搜集應用等等,為了防止資料洩漏,還有許多相對應的軟硬體防範,然而,這些規範也對人工智慧的發展形成一些阻礙,研究團隊有技術硬體可是沒有資料,公司行號有資料沒有技術,法規又限定不能直接交換資料,所以除了需要制定相對應的方案,也有一些解決方案,不需要交換資料也可以研發人工智慧演算法,今天要介紹的就是其中一種方法:聯邦式學習(Federated Learning)。

假設今天有 $K$ 個獨立的資料中心,每個資料中心都有各自的資料庫 $D_k = {(x_n^{(k)}, y_n^{(k)})}{n=1}^{N_k}$,則我們架了一個深度學習網路模型 $f\theta$,其中 $\theta$ 是要訓練的參數,如今,這些資料中心不需要交換資料,只需要在各個資料中心計算出 $\nabla \left. \lambda(\theta) \right|{D_k}$,然後傳到一個共同的伺服器,伺服器會計算出加權平均,$\overline{\nabla \lambda} = \sum{k=1}^K \left. w_k \nabla \lambda(\theta) \right|{D_k}$,其中對於所有 $k$,$w_k>0$ 且 $\sum{k=1}^K w_k = 1$ ,再把 $\overline{\nabla \lambda}$ 傳回每個資料中心做更新,最後,每個資料中心都會有一個訓練好的 $f_\theta$,而且這個模型是訓練在所有資料中心的資料上,我們解決了不需要互相交換資料但最後也可以得到一個運用到所有資料所訓練出來的模型。可以參考下圖。

https://ithelp.ithome.com.tw/upload/images/20201005/20130207DcP15FclOh.jpg

(圖片來自:[1])

當然,這麼做也會有一些問題,如較難收斂,訓練時間也會比較久,並且傳輸也需要做好加密的安全措施。

參考資料

[1]:知乎的詳解聯邦學習 Federated Leraning


上一篇
[Day 19] 穩健性 Robustness
下一篇
[Day 21] 模型梯度的資料洩漏 Data Leakage from Gradients
系列文
窺探人工智慧與資料科學的面貌30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言